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Die folgenden Angaben sind den vom Anmelder eingereichten Unterlagen entnommen 

Prufungsantrag gem. § 44 PatG ist gestellt 

(§) Verfahren zum automatisierten Erkennen von Strukturen in Schnitten durch biologische Zellen oder 
biologisches Gewebe 

@ Die ErfinduriQ bstrifft ein Verfahren zum automatisier- 
ten Erkennen einer oder mehrerer Strukturen in einem 
Schnitt durch biologisches Material, insbesondere zum 
Einsatz in der medizinischen Diagnostik, umfassend die 
Schritte: Zurverfiigungstellen von Referenzgraphen, die 
aus digitalisierten Bilddaten entsprechender Referenz- 
schnittbtlder resultieren, wobei jeder Referenzgraph um- 
faSt: eine netzartige Struktur, die jeweils dadurch definiert 
wird, dafi bestimmten Bilddaten Knoten, die durch Links 
In vorbestimmter Wetse miteinander verbunden sind, zu- 
gewiesen werden, und Jets, wobel jedem Knoten ein Jet 
zugeordnet ist und wobei der einem bestimmten Knoten 
zugeordnete Jet durch Faltungen einer Klasse von Filter- 
funktionen mit verschiedenen Groden und Orientierun- 
■ gen mit den Bilddaten des entsprechenden Referenz- 
I schnitts an dem bestimmten Knoten ermittelt wird; Erstel- 
> len des Bildes des Schnitts, der jede zu erkennende Struk- 
tur umfal^t, derart, da(^ die Bilddaten in digital isierter 
Form vorliegen; Ermittein eines optimalen Schnittgra- 
phen fiir jeden Referenzgraphen, wobei der optimale 
Schnittgraph fur einen bestimmten Referenzgraphen die 
optimale Anpassung an diesen darstellt und ermittelt 
wird durch: Projlzieren der netzartigen Struktur des be- 
stimmten Referenzgraphen in das Bild des Schnitts, wo- 
durch die Struktur des Schnittgraph en definiert wird, und 
Ermittein von Jets des Schnittgraph en an den durch seine 
Struktur definierten Knoten durch Faltungen der Klasse 
von Filterfuhktionen mit ... 
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-Beschreibung 
Gebiet der Erfindung 

5 Die Brfindung betrifift ein Verfahren zum Erkennen wenigstens einer oder mehrerer Strukturen in einem Schnitt durch 
biologisches Material, insbesondere als Hilfsmittel zum Einsatz in der medizinischen Diagnostik, d. h. zum Erkennen ei- 
ner oder mehrerer Strukturen in beispielsweise einem anatomischen Schnitt durch menschliche oder tierische Zellen 
bzw, durch menschliches oder tierisches Gewebe oder in einem Schnitt durch pflanzliche Zellen bzw. durch pflanzliches 
Gewebe, 

10 GemaB der vorliegenden Erfindung ist der Begriff "Struktur in einem Schnitt" als einzelnes Merkmal in einem Schnitt 
und derBegrifif "mehrere Strukturen in einem Schnitt" als Ansammlung mehrerer solcher Merkmaie zu verstehen, wobei 
durch den letzteren Begriff auch die Gesamtheit aller Strukturen in einem Schnitt, also der Schnitt in seiner Gesamtheit, 
verstanden wird. 

Weiterhin wird vorliegend der Begriff "Erkennen" in seiner allgemeinsten Form gebraucht. Insbesondere werden so- 
ts mit durch den Begriff "Erkennen" die Identifikation einer Struktur in einem Schnitt durch Vergleich der Struktur mit ei- 
ner beliebigen Anzahl von bekannten Referenzstrukturen bzw. die Identifikation eines Schnitt s durch Vergleich mit einer 
beliebigen Anzahl von bekannten Referenzschnitten, die Klassifizierung einer Struktur in einem Schnitt entsprechend 
bestimmter Struktur-Klassen bzw. die Klassifizierung eines Schnitts entsprechend bestimmter Schnitt-Klassen, sowie die 
Auswertung eines Schnitts, also das Aufl&nden bestimmter Strukturen und/oder die Bestimmung geometrischer Parame- 
20 ter (beispielsweise der GroBe, der Lage und/oder der Orientierung) bestimmter Strukturen in einem Schnitt, umfaBt. 

Stand der Technik 

Entsprechend dem Stand der Technik wird eine Struktur in einem Schnitt durch biologisches Material manuell er- 
25 kannt, d. h., daB die Person den Schnitt, in dem die Struktur enthalten ist, visuell erfaBt und schlieBlich mit einzelnen Re- 
ferenzstrukturen bzw. mit Referenzschnitten vergleicht. 

Die zum Vergleich verwendeten Referenzstrukturen bzw. Referenzschnitte konnen, wenn sie in Form von Abbildun- 
gen in einem Buch oder in einer elektronischen Datenbank vorliegen, hierbei ebenfalls visuell erfaBt werden. 

Altemativ kann die Person, wenn ihr aufgrund ihrer Erfahrung im Umgang mit den in Frage stehenden Schnitten eine 
30 hinreichende Anzahl von Referenzstrukturen bzw. Referenzschnitten bekannt ist, den Schnitt auch mit diesen bekannten 
Referenzstrukturen bzw. Referenzschnitten vergleichen. 

Ein groBer Nachteil dieses Verfahrens ist es jedoch, daB der Vergleich einer Struktur bzw. eines Schnitts mit einer Re- 
ferenzstruktur bzw. einem Referenzschnitt in der Regel nicht nach objektiven Kriterien durchgefuhrt wird. Vielmehr 
wird sich jede Person, die einen derartigen Vergleich durchfiihren soil, im Laufe der Zeit subjektive Kriterien fiir die 
35 Ahnlichkeit einer Struktur mit einer Referenzstruktur definieren. 

Die Kriterien, die somit jeweils verwendet werden, hangen sehr stark von der Erfahrung der Person im Umgang mit 
den in Frage stehenden Schnitten ab. Insbesondere kommt es deshalb bei unerfahrenen Personen vor, daB sie beim Ver- 
gleich schlechte oder falsche Kriterien verwenden, so daB falsche Ergebnisse die Folge sind. 

Somit sind richtige bzw. sichere Ei^gebnisse nur zu erwarten, wenn die Person, die den Vergleich durchfuhrt, eine sehr 
40 groBe Erfahrung im Umgang mit den in Frage stehenden Schnitten hat. 

Als unmittelbare Folge hieraus ergibt sich, daB, insbesondere in Gebieten, in denen das Erkennen von Strukturen in 
den Schnitten schwerwiegende Entscheidungen nach sich ziehen kann, wenn also beispielsweise basierend auf dem Er- 
gebnis des Erkennungsprozesses eine medizinische Diagnose erstellt werden soil, die Vergleiche nur von hochqualifi- 
ziertem Personal durchgefuhrt werden konnen oder zumindest von hochqualifiziertem Personal iiberwacht werden mus- 
45 sen, was zu sehr hohen Kosten bei der Durchfuhrung des Verfahrens fuhrt. 

Angesichts des vorangegangenen liegt der Erfindung die Aufgabe zugrunde, ein \ferfahren zu schaffen, in dem die 
oben beschriebenen Nachteile vermieden werden, also ein Verfahren geschaffen wird, in dem objektive Kriterien zum 
Vergleich jeder zu ericennenden Struktur mit entsprechenden Referenzenstrukturen angewendet werden konnen, so daB 
das Verfahren auch von Hilfspersonen durchgefuhrt werden kann. 
50 In diesem Zusammenhang wurde von den Erfindem der vorliegenden Erfindung erkannt, daB die oben beschriebenen 
Nachteile durch eine Automatisierung des Verfahrens gemaB dem Stand der Technik vermieden werden konnen. 

Verfahren zum automatisierten Erkennen von Strukturen in Schnitten durch biologische Zellen oder biologisches Ge- 
webe sind allerdings nicht bekannt. Auch sind in den die Erfindung betreffenden Gebieten, namlich der Medizin und Bio- 
logie im weitesten Sinn, keine automatisierten Verfahren bekannt, mit denen ein beliebiges Schnittbild mit Referenz- 
55 schnittbildem verglichen wird, um in dem Schnittbild bekannte Strukturen, die aus den Referenzbildem bekannt sind, zu 
identifizieren. 

Lediglich aus einem Gebiet, das weder mit dem Gebiet der Medizin noch mit dem Gebiet der Biologic Beriihrungs- 
punkte aufweist, namlich aus dem Gebiet der Gesichtserkennung, ist ein \ferfahren bekannt, bei dem der Vergleich zwi- 
schen dem mit einer Videokamera aufgenonmienen Bild eines dreidimensionalen Kopfes und mehreren in einer Daten- 
60 bank in gespeicherten Bildem dreidimensionaler Kopfe durch einen flexiblen Abbildungsmechanismus realisiert wird, 
wobei die bestmogliche Abbildung durch ein Optimierungsverfahren bestimmt wird (siehe Lades et al, IEEE TVansacti- 
ons on Computers, 42, 300-311). 

Ein Nachteil dieses Verfahrens, der einem Einsatz dieses Verfahrens bei der Erkennung von Strukturen in biologi- 
schem Material entgegensteht, ist es, daB das Verfahren nicht zur Bearbeitung groBer Datenmengen geeignet scheint. So 
65 konnten Lades et al. zwar ein Bild eines Kopfes aus einer Datenbank, die aus Bildem von 87 Personen bestand, erkennen; 
bei der Behandlung des der Erfindung zugrunde liegenden Problems ist allerdings mit wesentlich groBeren Datenbanken 
zu rechnen, um beispielsweise zu Ergebnissen zu kommen, aufgrund derer eine gute Diagnose erstellt werden kann. 
Im Gegensatz zur vorhegenden Problemstellung, entsprechend der Strukturen in zweidimensionalen Schnitten durch 
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biologisches Material ericannt werden soUen, ist das Verfahren von Lades et al. fUr Bilder von Gesichtem, also fur per- 
spektivische Abbildungen von dreidimensionalen Objekten, entwickell worden. Somil ist das Verfahren von Lades et al. 
auch in dieser Hinsicht nicht optimal fiir den vorliegenden Einsatzzweck. 

Dariiber hinaus konnte das Verfahren von Lades et al. nur mit einer speziellen Hardv^^are-Konfiguration, namlich niit 
Transputem, d. h. mit mehreren in vorbestimmter Weise miteinander verschalteten Mikroprozessoren, realisiert werden, 
so daB ein Einsatz in bereits vorhandenen, meist sehr teuren Vorrichtungen zum Aufhehmen von Schnitten durch biolo- 
gisches Gewebe, wie beispielsweise Kemspintomographie-, Computertomographie- oder Ultraschalltomographieein- 
richtungen, die lediglich mit einem herkonmilichen Computer ausgestattet sind, nicht in Frage kommt. 

Angesichts dieser Nachteile, die das Verfahren von Lades et al. fiir einen Einsatz zum Erkennen von Strukturen in bio- 
logischen Schnitten mit sich bringt, erscheint es zur Losung der vorliegenden Aufgabe nicht geeignet. 

Beschreibung der Erfindung 

Diese obengenannte Aufgabe, namlich ein Verfahren zu schaffen, in dem objektive Kriterien zum Vergleich jeder zu 
erkranenden Struktur mit entsprechenden Referenzenstrukturen angewendet werden konnen, so daB das Verfahren auch 
von Hilfspersonen durchgefuhrt werden kann, wird gelost durch ein Verfahren zum automatisierten Erkennen einer oder 
mehrerer Strukturen in einem Schnitt durch biologisches Material, insbesondere zum Einsatz in der medizinischen Dia- 
gnostik, welches die folgenden vier Schritte umfaBt: 

1. Zurverfiigungstellen von Referenzgraphen aus digitalisierten Bilddaten entsprechender Referenzschnittbilder, 
wobei jeder Referenzgraph eine netzartige Struktur, die jeweils dadurch definiert wird, daB bestinunten Bilddaten 
Knoten. die durch Links in vorbestimmter Weise miteinander verbunden sind, zugewiesen werden, und Jets umfaBt, 
wobei jedem Knoten ein Jet zugeordnet ist und wobei der einem bestimmten Knoten zugeordnete Jet durch Faltun- 
gen einer Klasse von Filterfunktionen mit verschiedenen GroBen und Orientierungen mit den Bilddaten des entspre- 
chenden Referenzschnitts an dem bestimmten Knoten ermittelt wird. 

2. Erstellen des Bildes des Schnitts, der jede zu erkennende Struktur umfaBt, derart daB die Bilddaten in digitali- 
sierter Form vorliegen. 

3. Ermitteln eines optimalen Schnittgraphen fiir jeden Referenzgraphen, wobei der optimale Schnittgraph ftir einen 
bestimmten Referenzgraphen die optimale Anpassung an diesen darstellt. Der optimale Schnittgraph wird hierbei 
ermittelt durch Projizieren der netzartigen Struktur des bestimmten Referenzgraphen in das Bild des Schnitts, wo- 
durch die Struktur des Schnittgraphen definiert wird, und durch Ermitteln von Jets des Schnittgraphen an den durch 
seine Struktur definierten Knoten durch Faltungen der Klasse von Filterfunktionen mit den GroBen und den Orien- 
tierungen, die zur Ermittlung der Jets des bestimmten Referenzgraphen verwendet worden sind, mit den Bilddaten 
des Schnitts, wobei die Projektion der netzartigen Struktur des bestimmten Referenzgraphen, so lange variiert wird, 
bis eine Graphenvergleichsfunktion, welche die Jets des Schnittgraphen mit den entsprechenden Jets des bestinun- 
ten Referenzgraphen vergleicht, optimal wird. 

4. Zuordnung jeder Struktur zu dem Referenzschnittbild, welches dem Referenzgraphen entspricht, fiir den die 
Graphenvergleichsfunktion in Bezug auf den fur ihn ermittelten optimalen Schnittgraphen optimal ist. 

Durch die Automatisierung des Verfahrens in der oben bezeichneten Art und Weise lassen sich zum Vergleich jeder zu 
erkennenden Struktur mit entsprechenden Referenzenstrukturen objektive Kriterien anwenden. Demnach ist es nicht 
mehr erforderlich, daB bei der DurchfUhrung des Verfahrens hochqualifiziertes Personal anwesend ist, Viehnehr kann das 
Verfahren auch von Hilfspersonen durchgefuhrt werden. 

Somit lassen sich die Kosten, die bei der Durchfuhrung des Verfahrens entstehen, stark verringem, 

Ein weiterer Vorteil des erfindungsgemaBen Verfahrens ist es, daB das Erkennen der Strukturen in den Schnitten die 
zum Erkennen einer Struktur erforderliche Zeit erheblich verringert. 

Zum einen macht dies das erfindungsgemafie Verfahren wesentiich ef&zienter als das bisher bekannte Verfahren, so 
daB eine Diagnose wesentiich schneller gestellt werden kann. Dies ermoglicht insbesondere in Notfallen eine wesentli- 
che schnellere Versorgung der untersuchten Person. , 

Zum anderen konnen durch die Automatisierung wesentiich groBere Datenmengen bewaltigt werden. Beispielsweise 
konnen so in bildgebenden Verfahren, in denen eine Struktur durch Strahlung angeregt wird, in Bezug auf das Abkling- 
verhalten der Struknir zeitaufgeloste Schnitte erstellt und bearbeitet werden, und so kann zusatzliche Information uber 
die Struktur gewonnen werden. Im Fall von NMR- Verfahren kann demnach aus dem Abklingverhalten der angeregten 
Atomkeme der beobachteten Struktur zusatzliche Informationen Uber die Struktur gewonnen werden. 

Unter dem Begriff "biologischem Material" werden im Zusammenhang mit der voriiegenden Erfindung insbesondere 
menschliches, tierisches oder pflanzliches Gewebe oder menschliche, tierische oder pflanziiche Zellen verstanden. Das 
Verfahren ist allerdings nicht hierauf beschrankt. Viehnehr konnen auch Strukturen in Schnitten durch mikrobiologische 
Organismen und dergleichen mit dem Verfahren erkannt werden. 

Weiterhin ist fiir die vorliegende Erfindung der ProzeB, mit dem die Schnitte, in denen die wenigstens eine Struktur er- 
kannt werden soil, erstellt werden, nicht von Bedeutung. 

Insbesondere kann das erfindungsgemaBe Verfahren somit auf Schnitte angewendet werden, die durch bildgebende 
Verfahren in der Medizin erstellt werden, wie beispielsweise Kemspintomographie (NMR) , Computertomographie (CT), 
UlU^schaU, Posiuxjnenemissionstomographie (PET), Digitale Subtraktionsangiographie (DSA), UltraschaU- Verfahren, 
Thermographic- Verfahren oder Szintigraphie- Verfahren. Es konnen auBerdem Schnitte, wie sie zur Mikroskopie mit den 
in diesem Gebiet ublichen Verfahren hergestellt werden, als Ausgangsmaterial fur das erfindungsgemaBe Verfahren die- 
nen. 

Entsprechend einer bevorzugten Ausgestaltung des Verfahrens sind weiterfiin die Referenzgraphen, welche netzartige 
Suiikturen aufweisen, die topologisch identisch sind, d. h. sich nur durch die Langen einander entsprechender Links un- 
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terscheiden, und deren einander entsprechende Jets durch Faltungen derselben Klasse von Filterfunktionen mil densel- 
ben GroBen und Orientierungen mitden Bilddalen des entsprechenden Referenzschnitts ermittelt worden sind, zu einem 
Referenzbtindelgraphen zusanunengefaBt, wobei der Referenzbiindelgraph eine netzartige Struktur, die durch Knolen, 
welche den Knoten der Referenzgraphen entsprechen, und durch Links, die durch Mittelung der entsprechenden Links 

5 der Referenzgraphen ermittelt werden, definiert wird, und Biindeljets umfaBt, wobei jeder Biindeljet aus Subjets zusam- 
mengesetzt wird, die den Jets an den jeweiligen Knoten der in dem Referenzbtindelgraphen zusanunengefaBten Refe- 
renzgraphen entsprechen. Weiterhin wird ein optimaler Schnittgraph fiir jeden Referenzbundelgraphen ermittelt wird, 
wobei der optimale Schnittgraph fiir einen bestimmten Referenzbundelgraphen die optimale Anpassung an diesen dar- 
stellt. Der optimale Schnittgraph wird hierbei ermittelt durch Projizieren der netzartigen Struktur des bestimmten Refe- 

10 renzbiindelgraphen in das Bild des Schnitts, wodurch die Struktur des Schnittgraphen definiert wind, und Erraittebi von 
Jets des Schnittgraphen an den durch seine Struktur definierten Knoten durch Faltungen der Klasse von Filterfunktionen 
mit den Gr56en und den Orientierungen, die zur Ermitdung der Jets der dem bestimmten Referenzbundelgraphen zu- 
grunde liegenden Referenzgraphen verwendet worden sind, mit den Bilddaten des Schnitts, wobei die Projektion der 
netzartigen Struktur des bestimmten Referenzbundelgraphen, so lange variiert wird, bis eine Graphenveigleichsfunktion, 

15 welche die Jets des Schnittgraphen mit den entsprechenden Biindeljets des bestimmten Referenzbundelgraphen ver- 
gleicht, optimal wird, wobei jeder Jet des Schnittgraphen mitden Subjets in dem entsprechenden Biindeljet des bestimm- 
ten Referenzbiindelgraphen verglichen wird. SchlieBlich wird in dieser bevorzugten Ausgestaltung jede Struktur dem 
Referenzschnittbild zugeordnet, das dem Referenzgraphen bzw. dem Referenzgraphen aus dem Referenzbiindelgraphen 
entspricht, fiir den die Graphenvergleichsfunktion in Bezug auf den fiir ihn ermittelten optimalen Schnittgraphen optimal 

20 ist 

Diese bevorzugte Ausgestaltung ermSglicht es, bei gleicher Anzahl von Referenzschnitten die Menge der fiir den Ver- 
gleich zur Verfiigung stehenden Strukturen zu erhohen. 

Entsprechend einer weiteren bevorzugten Ausgestaltung werden alle erstellten Referenzgraphen zu einem oder zu 
mehreren Referenzbiindelgraphen zusammengefaSt werden. 
25 Diese bevorzugte Ausgestaltung erlaubt es, bei gleicher Anzahl von Referenzschnitten die Menge der fiir den Ver- 
gleich zur Verfiigung stehenden Strukturen noch weiter zu erhohen. 

Obwohl das erfindungsgemaBe Verfahren hauptsachlich dazu vorgesehen ist, Bilder von Schnitten und Referenz- 
schnitten zu vergleichen, die mit demselben bildgebenden Verfahren erstellt worden sind, konnen in einer bevorzugten 
Ausgestaltung der Erfindung auch Schnitte mit Referenzschnitten verglichen werden, die mit verschiedenen bildgeben- 
30 den Verfahren erstellt worden sind. In diesem Fall ist der Begriff "Referenz" dahingehend zu verstehen, daB eines der 
bildgebenden Verfahren als Referenz fungiert. 

Mit dieser Ausgestaltung ist es beispielsweise moglich eine Registrierung, also eine Identifikation korrespondierender 
Punkte, in einander entsprechenden Schnitten von derselben Person, beispielsweise zur Untersuchung der Aktivitat von 
Gehimbereichen, die mittels funktioneller NMR und mittels CT- Verfahren hergestellt worden sind, durchzufuhren. Da 
35 mit den CT- Verfahren eine hohere Auflosung erzielt werden kann als mit den Verfahren der f unktionellen NMR, kann die 
Auflosung eines Schnitts, der mittels funktioneller NMR- Verfahren erstellt worden ist, durch Verwendung der Registrie- 
rung der in Frage kommenden Bereiche in den entsprechenden CTGs erhoht werden. 

Durch solche Registrierungsverfahren lassen sich somit die \brteile verschiedener bildgebender Verfahren kombinie- 
ren. 

40 GemaB einer weiteren bevorzugten Ausgestaltung des Verfahrens wird als netzartige Struktur fiir die Referenzgraphen 
ein regelmaBiges Gitter verwendet, dessen Knoten und Links rechtwinklige Maschen bilden. 

Altemativ kann als netzartige Struktur fiir die Referenzgraphen auch ein unregelmaBiges Gitter verwendet wird, des- 
sen Knoten und Links an die zu erkennende Struktur angepaBt sind. M^rteilhafterweise konnen dann die Knoten charak- 
teristischen Punkten, sogenannten Landmarken, der zu erkennenden Struktur zugeordnet werden. 

45 In dieser Ausgestaltung werden die Jets somit an den charakteristischen Punkten der zu erkennenden Struktur ermit- 
telt. Dadurch werden in erster Linie die charakteristischen Punkte der Referenzstrukturen bei dem Vergleich beriicksich- 
tigt, wodurch die Signifikanz mit der eine Struktur erkannt wird, erhoht werden kann. 

Fiir das Ericennen von Strukturen in Schnitten durch biologisches Material haben sich Gabor-Filterfunktionen sowie 
Mallat-Filterfunktionen als besonders geeignet erwiesen. 

50 Vorteilhafterweise umfaBt die Projektion der netzartigen Struktur des bestimmten Referenzgraphen eine Zentrierung 
des Referenzgraphen in dem Bild des Schnitts. 

Es hat sich weiterfiin als vorteilhaft erwiesen, daB die Projektion der netzartigen Struktur des bestimmten Referenz- 
graphen eine Verschiebung des zentrierten Referenzgraphen umfaBt. Hierdurch kann das Erkennen der Struktur be- 
schleunigt werden. 

55 Insbesondere kann die Projektion der netzartigen Struktur des Referenzgraphen auch eine Skalierung des zentrierten 
Referenzgraphen umfassen. Hierdurch konnen insbesondere dann gute Ergebnisse erzielt werden, wenn die betreffenden 
Referenzschnitte und der Schnitt, in dem die Struktur erkannt werden soil, verschiedene GroBe haben. 

Die Verschiebung und die Skalierung des zentrierten Referenzgraphen konnen hierbei simultan durchgefiihrt werden, 
wodurch das Erkennen der Struktur beschleunigt werden kann. 

60 Dariiber hinaus kann die Projektion der netzartigen Struktur auch lokale Verzerrungen des zentrierten Referenzgra- 
phen umfassen. Diese Ausgestaltung eignet sich insbesondere, wenn Strukturen erkannt werden sollen, dessen Formen 
nicht fest definiert sind, wie dies beispielsweise bei Tbmoren der Fall ist. Eine derartige lokale Verzerrung kann zweck- 
maBigerweise durch eine lokale Verschiebung eines entsprechenden Knoten des zentrierten Referenzgraphen bewirkt 
werden. 

65 Entsprechend einer weiteren vorteilhaften Ausgestaltung wird eine Graphenvergleichsfunktion verwendet, die einen 
Anteil umfaBt, der die metrische Ahnlichkeit des Schnittgraphen mit dem entsprechenden Referenzgraphen bzw. dem 
entsprechenden Referenzbundelgraphen beriicksichtigt. ZweckmaBigerweise kann hierbei eine Graphenvergleichsfunk- 
tion verwendet werden, durch die eine Gewichtung zwischen der Ahnlichkeit der einander entsprechenden Jets und der 



4 



DE 197 26 226 A 1 



metrische Ahnlichkeit ausgefUhrt wird. 

GemaB einer bevorzugten Ausgestaltung des erfindungsgemaBen Verfahrens wird nach dem Erkennen jeder Struklur 
ein Schritt zur Ermitdung der Signifikanz des Erkennung voigesehen. 

Hierzu kann ein Schatzer verwendet wird, der sowohl die opdmale Graphenvergleichsfunktion als auch die nicht op- 
timalen Gr^henvergleichsfunktionen beriicksichtigt, wie beispielsweise der Abstand der Werte der nicht optimalen Ver- 5 
gleichsfiinktionen von dem Wert der opdmalen Vergleichsfunktion. 

GemaB einer weiteren vorteilhaften Ausgestaltung kann weiterhin jede Struktur den Referenzschnittbildem zugeord- 
net werden, die den Referenzgraphen bzw. den Referenzgraphen aus den Referenzbiindelgraphen entsprechen, fur die die 
Werte der Graphenvergieichsfunktionen in einem vorbestinunten Bereich liegen. 

Kn \forteil dieser Ausbildung ist es, daB der Person, die den das Schnittbild beurteilen muB, beispielsweise der Arzt, lo 
der eine medizinische Diagnose erstellen soli, zusStzliche Information an die Hand gegeben wird. 

Weitere bevorzugte Ausgestaltungen ergeben sich aus den Unteranspriichen sowie aus der Beschreibung bevorzugter 
Ausfiihrungsformen des erfindungsgemaBen Verfahrens, die im folgenden unter Bezugnahme auf die Zeichnung be- 
schrieben werden. 

In der Zeichnung zeigen: 15 
Fig. 1 einen Schnitt dutch ein menschliches Gehim der mit einem NMR-Verfahren aufgenommen worden ist; 
Fig. 2 eine schematische Darstellung zur Ermittlung eines Graphen aus einem Schnittbild gemaB einer Ausfuhrungs- 
form der Erfindung; 

Fig. 3 ein Referenzschnittbild mit 5>C7-Gitter gemaB der in Fig. 2 gezeigten AusfUhrungsform der Erfindung; 

Fig. 4 eine schematische Darstellung zum Vergleich eines Referenzschnittbildes mit einem aufgenommenen Schnitt- 20 
biid gemaB der in Fig. 2 gezeigten Ausfiihrungsform der Erfindung; 

Fig. 5 eine Darstellung zur Ermittlung eines Graphen aus einem Schnittbild gemaB einer weiteren Ausfuhrungsform 
der Erfindung; 

Fig. 6 ein Referenzschnittbild mit objektangepaBtem Gitter gemaB einer weiteren Ausfuhrungsform der Erfindung; 

Fig. 7 eine schematische DarsteEung zum Vergleich eines Referenzschnittbildes mit einem aufgenonamenen Schnitt- 25 
bild gemkB der in Fig. 6 gezeigten Ausfuhrungsform der Erfindung; 

Fig. 8 eine schematische Darstellung zur Erlauterung einer weiteren AusfUhrungsform der Erfindung. 

Im folgenden werden die verschiedenen Ausfiihrungsformen der Mndung anhand von NMR-Schnittbildem durch 
ein menschliches Gehim beschrieben. Hierbei ist die Beschreibung mittels NMR-Schnittbildem allerdings nicht als Ein- 
schrankung zu verstehen, sondem nur als ein Beispiel eines Schnitts durch biologisches Material. 30 

Wie bereits oben erwShnt, laBt sich das vorliegende Verfahren analog auf andere bildgebende Verfahren, beispiels- 
weise die aus der Medizin bekannten CT- Verfahren, PET- Verfahren. DS A- Verfahren, Ultraschall- Verfahren, Thermogra- 
phie- Verfahren oder Szintigraphie- Verfahren anwenden. 

Dariiber hinaus konnen mit dem vorliegenden Verfahren selbstverstandlich auch Schnittbilder durch andere Teile des 
menschlichen Korpers, durch tierisches oder pflanzliches Gewebe bzw. menschliche, tierische oder pflanzliche Zellen 35 
durchgefiihrt werden. 

In Fig. 1 ist als Beispiel ein NMR-Schnitt, der durch ein menschliches Gehim in horizontaler Richtung knapp iiber 
HQhe der Augen aufgenoirunen worden ist, dargestellt. 

In der linken Bildhalfte ist hierbei das Original und in der rechten Bildhalfte ein Negativ dieses Originals gezeigt. Die 
Negativform wurde in dieser Figur sowie in den folgenden Figuren zur deutlicheren Darstellung gewahlt, 40 

In dem in Fig, 1 gezeigten Schnittbild sind mehrere Strukturen, wie beispielsweise die Schadelkalotte 1, der Balken 
(corpus callosum) 2a und 2b, der Spalt 3a und 3b, der m. Ventrikel 4, das Vorderhom des linken und rechten Seitenven- 
trikeis 5a bzw. 5b und das Hinterhom des linken und rechten Seitenventrikels 6a bzw. 6b zu sehen. Diese beispielhaft ge- 
nannten Stmkturen konnen durch das erfindungsgemaBe Verfahren in automatisierter Weise erkannt werden. 

Im folgenden wird unter Bezugnahme auf die Fig. 2, 3 und 4 eine erste Ausfuhrungsform der vorliegenden Erfindung 45 
beschrieben. 

In Fig. 2 ist hierzu eine schematische Darstellung gegeben, anhand der erklart wird, wie man aus der Abbildung eines 
Schnitts 20 eine Darstellung in Graphenform 30 erhalt, die, wie insbesondere im Zusammenhang mit Fig. 4 noch erlau- 
tert wird, mit anderen Graphen verglichen werden kann. 

Zur DurchfUhmng des erfindungsgemaBen Verfahrens muB das Ausgangsschnittbild 20 in digitalisierter Form vorlie- 50 
gen. Die digitalisierte Form kann hierbei entweder aus dem verwendeten Verfahren direkt resultieren, wie beispielsweise 
im Fall von NMR- oder CT- Verfahren, oder muB durch Konvertierung eines analogen Bildes, wie beispielsweise einer 
herkommlichen Fotografie eines Schnittbildera, digitalisiert werden. 

Ein digitalisiertes Bild liegt typischerweise in der Form eines Rxelfeldes einer vorbestinunten GroBe vor. Jedem Pixel 
ist hierbei eine horizontale und eine vertikale Position x zugeordnet. Deshalb wird im folgenden unter dem Pixel x das 55 
Pixel verstanden, dem die Position x zugeordnet worden ist. Weiterhin ist jedem Pixel ein Graustufenwert, typischer- 
weise in dem Bereich 0-256 zugewiesen. 

Um nun aus dem Ausgangsschnittbild 20 einen Graph zu erhalten, werden, wie die im folgenden noch im Detail be- 
schrieben werden, aus dem Schnittbild 20 an vorbestinunten Pixeln sogenannte Merkmale, die ihrerseits zu sogenannten 
Jets zusammengefaBt werden, extrahiert. 60 

Diese vorbestimmten Pixel werden dadurch erhalten, daB ein Gitter 21, das allgemein durch seine Knotenpunkte 22a, 
22b und seine Links 23, d. h. die Verbindungen zwischen bestinunten Knotenpunkten, beschrieben wird, in das Schnitt- 
bild 20 projiziert wird und die Pixel, die der Projektion der Knotenpunkte entsprechen, bestinmit werden. GemaB der er- 
sten Ausfuhrungsform wird, wie in Fig. 2 zu sehen ist, ein regulares 5x7-Gitter mit regelmaBigen Abstanden verwendet. 

Nachdem durch das Gitter bestimmte Pixel festgelegt sind, wird die Extraktion der Merkmale in diesen Pixeln wie 65 
folgt durchgefiihrt. 

Ein Merkmal 28a, . . ., 28h ist als das Ergebnis einer Faltung des Bildes an einem vorbestimmten Pixel mit einer ge- 
gebenen Filterfunktion definiert. 



5 



15 



25 



60 



DE 197 26 226 A 1 

GemaB der ersten AusfUhrungsform werden hierbei sogenannte komplexe Gabor-Filter als Filterfunktionen verwen- 
det. Diese Filter lassen sich durch folgende Formel darstellen: 



(1) 



Die durch Gleichung (1) daigestellten Gabor-Filter haben die Form einer durch einen Wellenvektor beschriebenen 
10 ebenen Welle, die durch eine GauB-Funktion mit einer Breite elk beschrankt ist, wobei G=27i. Durch Wahl des Wellen- 
vektors Ej kann die GroBe und die Orientierung der Filterfunktion bestimmt werden. 
Dartiber hinaus erfUllen die Filterfunktionen die Bedingung: 



Zv^/'^O* (2) 



In Fig, 2 sind mit 24a und 24b zwei derartige verschiedene Filterfunkdonen dargestellt. Der Wert 0 ist hierbei durch 
ein mitderes Grau dargestellt; positive Werte sind heUer und negative Werte sind dunkler. Die in Fig. 2 dargestellte Fil- 
20 terfiinktion 24a hat hierbei eine niedrige Frequenz bzw. einen kleinen Wellenvektor £j mit einer Orientierung von unge- 
^ 60 Grad gegenuber der Vertikalen. Die Filterfunktion 24b hat eine grdBere Frequenz bzw. einen groBeren Wellen- 
vektor mit einer Orientierung von ungefahr 135 Grad gegenuber der Vertikalen. 

Fiir einen vorgegebenen Wellenvektor Ej, d, h. durch Wahl der GroBe und der Orientierung der Filterfunktion, laBt sich 
somit das Merkmal Jj(x) an einem vorbestimmten Pixel If berechnen durch; 



= Z^C^^/^-^*)- (3) 



I(x) bezeicbnet hierin die Intensitat, d. h. die Graustufen, der Schnittabbildung. 
30 In Abhangigkeit von dem Wellenvektor E konnen nun fur jedes Pixel iL verschiedene Merkmale Jj(x) berechnet wer- 
den, die in einem Jet fiir das Pixel x zusammengefafit werden. 

In Fig. 2 sind die Ergebnisse der Faltungen des Schnittbildes 20 mit den Filterfunktionen 24a bzw. 24b fur alle Pixelx 
gezeigt. Wahlt man fUr Jj(x) die Form Jj(x)=aj(x)exp(iOj(x)), sind in den Bildem, die mit 25a bzw. 25b bezeichnet sind, 
die Imaginarteile der Faltung und in den Bildem, die mit 26a bzw. 26b bezeichnet sind, die Amplituden aj(x) der Faltung 
35 dargestellt. 

Stellt man den Wellenvektor Ej dar durch: 



40 ^ Kk^'^^^J 



2 ^ 7U, ^M^Mjf ^ (4) 



wobei V der GroBenindex ji und der Orientierungsindex der Filterfunktion sind, werden entsprechend der ersten Ausfuh- 
rungsform die Merkmale fiir dielndizes {0, . . .,7} und ve {0, . . .,4} in einem Jet zusammengefafit. 
Insgesamt umfaBt der Jet fur das Pixel x somit n=40 Merkmale. 
45 In Fig. 2 ist ein Teil dieser Mericmale schematisch in einem Jet 27 dargestellt. Hierbei sind die Merkmale 28a, 28b, 28c 
und 28d durch eine Filterfunktionen mit konstanter GroBe und, wie durch die Schraffur dargestellt, mit unterschiedlicher 
Orientierung ertialten worden. Gleiches gilt fiir die Merkmale 28e, 28f, 28g und 28h. Ira Vergleich zu den Merkmalen 
28a, 28b, 28c und 28d warden die Merkmale 28e, 28f, 28g und 28h nut einer kleineren Filterfunktion erhalten. 
Fahrt man die Extraktion der Merkmale an alien Gitterpunkten durch, erhalt man schlieBlich den in Fig. 2 mit dem Be- 
so zugszeichen 30 bezeichneten Graphen, der die Struktur des Gitters 21 widerspiegelt und die Jets an den Punkten, die den 
Gitterpunkten entsprechen, aufweist. 

Neben den oben beschriebenen Gabor-Filterfiinktionen lassen sich auch beliebige andere Filterfunktionen einsetzen. 
Als ein weiteres Beispiel einer Filterfunktionsklasse werden entsprechend einer AusfUhrungsform der Erfindung soge- 
nannte Mallat-Filter verwendet werden. 
55 Die Faltung des Bildes mit diesen Mallat-Filtem laBt sich durch folgende Formel darstellen: 



f,(f) = /(x> 



[5) 



wobei * die Faltungsoperation bezeichnet, h und v fiir horizontal und vertikal stehen und Si(si=So2\i e N) die Breite einer 
GauB-Funktion darstellt, deren Ableitungen als Filterfunktionen verwendet werden. 

Im folgenden wird unter Bezugnahme auf Fig, 3 und 4 beschrieben, wie ein Referenzschnittbild mit einem Schnittbild, 
das beispielsweise von einem zu untersuchenden Patienten aufgenommen worden ist, verglichen wird. Im folgenden 
65 wird das aufgenommene Schnittbild als Vergleichsschnittbild bezeichnet. 

In Fig. 3 ist ein Referenzschnitt 20 gezeigt, in den ein regulares 5x7-Gitter 21 mit regelmaBigen Abstanden projizierL 
ist. Aus diesem Bild werden an den Knotenpunkten 22 des Gitters nach dem oben beschriebenen Verfahren Merkmale 
exu-ahiert, die in den Jets, die den jeweiligen Gitterpunkten entsprechen, zusammengefafit werden. 
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Die Jets werden ihrerseits mit der Gitterstruktur, also den Koordinaten der Knotenpunkte und den Verbindungsvekto- 
ren zwischen den Knoten in einem Referenzgraphen G zusammengefaBt. 

Im nachsten Schritt projiziert man das Gitter des Referenzschnitts (Referenzgitter) in das Vergleichsschnittbild und be- 
rechnet die diesem Gitter entsprechenden Jets fur das Vergleichsschnittbild. Hierbei sind dieselben Filterfunktionen, d. h. 
dieselbe Kiasse von Filterfunktionen, dieselben GroBe und dieselben Orientierungen, mit denen der Referenzgraph er- 5 
stellt worden ist, zu verwenden. Die derart berechneten Jets bilden zusammen mit der Struktur des projizierten Gitters 
schlieBlich den Vergleichsgraphen G'. 

Zur Projektion des Referenzgitters in das Vergleichsschnittbild lassen sich in Abhangigkeit von den zu erwartenden 
Unterschieden zwischen Referenzschnitten und Vergleichsschnitten verschiedene Abbildungen einsetzen. 

Die einfachste Projektion, namlich eine Zentrierung des Referenzgitters in der Vergleichsschnittabbildung, eignet sich lo 
beispielsweise, wenn Referenzabbildung und Vergleichsabbildung dieselbe Grofie und Position in bezug auf das Bild- 
zentrum haben und unter demselben Winkel aufgenommen worden sind. 

Zu dieser einfachen Projektion kbnnen wahlweise die folgenden Projektionen ausgefuhrt werden. 

Eine Verschiebung des Referenzgitter in seiner Gesamtheit: Diese Abbildung eignet sich, wenn die Positionen von Re- 
ferenzabbildung und Vergleichsabbildung in bezug auf das Bildzentrum unterschiedlich sind. 15 

Eine Skalierung des Referenzgitters: 
Diese Abbildung kann vorgesehen werden, wenn die GroBen von Referenzabbildung und Vergleichsabbildung unter- 
schiedlich sind. 

Eine lokale Verzerrung des Referenzgitters: 
Bei dieser Abbildung werden jeweils einzelne Gitterpunkte gegeniiber ihrer Position im Referenzgitter verschoben. 20 
Diese Abbildung eignet sich insbesondere, wenn zu erwarten ist, daB die Vergleichsabbildung gegeniiber der Referenz- 
abbildung lokale Verzerrungen aufweist. 

Selbstverstandlich sind auch beliebige Kombinationen der oben beschriebenen Projektionen moglich. 

Neben den oben beschriebenen Projektionen lassen sich, falls Referenzabbildung und \fergleichsabbildung dies erfor- 
derlich machen, auch weitere Projektionen, wie beispielsweise Drehungen und deigleichen einsetzen. 25 

In Fig. 4 sind die Projektionen gezeigt, die gemaB der ersten Ausfiihrungsform der Erfindung verwendet werden. In 
der linken Abbildung ist noch einmal die Referenzschnittabbildung 20 mit dem Referenzgitter 21 zu sehen. 

In der mittleren Abbildung ist mit dem Bezugszeichen 40 ein Vergleichsschnitt dargestellt. Weiterhin zeigt die mittlere 
Abbildung die Projektion 41 des Referenzgitters in den Vergleichsschnitt. Wie aus Fig. 4 ersichtlich, wurde als Projekti- 
onsabbildung eine Zentrierung mit zusatzlicher Skalierung verwendet. 30 

In der rechten Abbildung von Fig. 4 ist eine weitere Projektion 42 des Referenzgitters in die Vergleichsschnittabbil- 
dung gezeigt. Hier wurde als Projektion neben Zentrierung und Skalierung auBerdem eine lokale Verzerrung verwendet. 

Die Bewertung der Ahnlichkeit beider Graphen, wird mittels einer Graphenveigleichsfunktion durchgefiihrt, die fol- 
gende allgemeine Form aufweist: 



S = Sjct + X^Metrik (6). 



35 



Sjct bezeichnet hierbei eine geeignete Funktion, welche die Ahnlichkeit der Jets an korrespondierenden Punkten der 
beiden Graphen bewertet, und SMetrik bezeichnet eine geeignete Funktion, welche die Ahnlichkeit der Metrik der beiden 
Gitter miteinander vergleicht. SMetrik hangt stark von der verwendeten Projektion ab. 40 

A, (X^O) bezeichnet die Gewichtung der beiden Vergleichsfunktion zueinander. X kann auch gleich Null gesetzt wer- 
den; dies bedeutet, daB die Ahnlichkeit der Metrik der Graphen nicht beriicksichtigt wird. Dieser Wert bietet sich insbe- 
sondere an, wenn lediglich Zentrierung oder Verschiebung als Projektion gewahlt werden, oder anders ausgedriickt, 
wenn die Topologie von Referenzgraph und Vergleichsgraph identisch sind, 

GemaB der ersten Ausfiihrungsform der Erfindung wird zur Bewertung der Ahnlichkeit zweier korrespondierender 45 
Jets J und T des Referenzgraphen G bzw. des Vergleichsgraphen G', eine Funktion verwendet, die von den Amplituden aj 
und ^' der beiden abhangt und die folgende Form hat: 

Die vorliegende Erfindung ist allerdings nicht auf diese Vergleichsfunktion beschrankt, es kann beispielsweise auch SS 
eine phasenempfindliche Vergleichsfunktion eingesetzt werden, beispielsweise mit folgender Form: 

J^aja'jcosi^j-fj-d-kj) 
S,{J.J') = ,^ ,^ , , (8) 



wobei Icj der Wellenvektor der entsprechenden Gabor-Filter ist und df ein geschatzter Verschiebungsvektor ist, der 
schnelle Phasenverschiebungen kompensiert. df wird dadurch bestimmt, daB in seiner Taylorentwicklung innerhalb 65 
eines kleinen Quadrats, daB in ?=0 zentriert ist, maximiert wird. Der Term 3" • Icj mit dem geschatzten Verschiebungs- 
vektor cT kompensiert schlieBlich schnelle Phasenverschiebungen aufgrund kleiner Variationen in den Positionen x und 
x' der zwei Jets, die miteinander verglichen werden. 
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Aus den Vergleichsfunktionen fiir die einzelnen Jets wird schlieBlich eine Graphenvergleichsfunktion fur alle Jets ge- 
bildet Hierzu kann beispielsweise der Mittelwert aller Vergleichsfunktionen fur alle N Jets gebildet werden: 

s S,^(G,G') = ^ZSi-^nM ■ (9) 

^ n 

Ais Funktion zum Vergleichen der Metrik der beiden Graphen konnen beispielsweise die Betrage der DifiFerenzvekto- 
ren zweier einander entsprechender Links, d. h. der Verbindungen zweier einander entsprechender Knoten, aufsununiert 
10 werden; fUr Graphen mit E Links, die niit Axe bzw. Axc' bezeichnet werden, ergibt sich somit eine Metrikvergleichsfunk- 
tion: 

^MetriicCG.C?') = irZ(^.-^:)'- (9) 

15 ^ * 

Welche der Vergleichsfunktionen im Detail verwendet und insbesondere welcher Faktor fiir X. gewahlt wird, hangt im 
wesentlichen von der Struktur der Referenzgraphen und der Vergleichsgraphen, also letztendlich von der Struktur der 
Vergleichsschnittbilder und der Referenzschnittbilder, ab. 

20 Die Auswahl der geeigneten Vergleichsfunktion fiir eine gegebene Struktur der Vergleichsschnittbilder und der Refe- 
renzschnittbilder kann hierbei durch Vergleichsversuche mit den Vergleichsschnittbilder und den Referenzschnittbilder 
ermittelt werden und liegt somit im Bereich des durchschnittlichen Kfinnens eines Fachmanns. 

Mit Hilfe der Graphenvergleichsfunktion (5) kann nun der Vergleichsgraph an den Referenzgraphen optimal angepaBt 
werden. Hierzu wird die Projektion des Referenzgitters in die Vergleichsabbildung solange variiert, bis die Graphenver- 

25 gleichsfunktion einen optimalen Wert (im Fall der oben beschriebenen Vergleichsfimktionen ist dies ein Minimum) an- 
ninunt. 

Die rechte Abbildung in Fig. 4 stellt eine solche optimale Anpassung der Referenzabbildung 20 an die Vergleichsab- 
bildung 40 dar, Hierzu wurde in einem ersten Schritt eine Zentrierung und Skalierung des Referenzgitters in die Ver- 
gleichsabbildung projiziert. Durch Variation der Skalierung wurde das Minimum der Graphenveigleichsfunktion ermit- 
30 telt. Das Ergebnis dieser ersten Variation ist in Fig. 4 im mittieren Bild gezeigt. 

In einem zweiten Schritt wurden, ausgehend von der optimalen Skalierung in der mittieren Abbildung, schlieBlich ein- 
zelne Knoten, wiederum unter Minimierung der Graphenveigleichsfunktion, lokal verschoben. Das Ergebnis dieser 
zweiten Variation ist in der rechten Abbildung in Fig, 4 dargestellt, 

Obwohl gemaB der oben beschriebenen Ausfuhrungsform zwei Schnitte in ihrer Gesamtheit miteinander veiglichen 
35 wurden, ist es gemaB einer weiteren Ausfuhrungsform moglich einzeihe Strukturen in einem Vergleichsschnitt zu erken- 
nen. Hierzu wird entsprechend ein Referenzgraph fUr die zu erkennende Struktur; beispielsweise fOr eine der Strukturen, 
die in Fig, 1 dargestellt sind, ermittelt. 

Unter Verwendung von insbesondere der Skalierungsabbildung kann das Referenzgitter dieser Struktur dann in den 
Vergleichschnitt projiziert werden. Unter Durchfiihrung des oben beschriebenen Verfahrens kann so schlieBlich die op- 
40 timale Anpassung ermittelt werden. 

Mit dem Vergleichsschnitt lassen sich selbstverstandlich auch mehrere Referenzschnitte vergleichen. 

Diese Referenzschnitte konnen in Form einer Datenbank vorliegen. In diesem Fall mussen dann allerdings bei jedem 
Vergleich die Referenzgraphen emeut berechnet werden. 

ZweckmaBiger ist es deshalb, die Datenbank gleich in Form einer Referenzgraph-Datenbank vorzusehen, in denen die 
45 Referenzgitter mit ihren entsprechenden Jets gespeichert sind und lediglich abgerufen werden mussen. Allerdings ist 
eine solche Referenzgraph-Datenbank nicht so flexibel wie eine Referenzschnitt-Datenbank, da diese fur jede Anderung 
bei der Berechnung der Jets neu kompiliert werden muB. 

Zum Vergleich des Vergleichsschnitts mit einer beliebigen Anzahl von Referenzschnitten ermittelt man fur den Ver- 
gleichsschnitt mit dem oben beschriebenen Verfahren die optimale Anpassung an jeden Referenzschnitt und die Gra- 
50 phenvergleichsfunktion fiir diese optimale Anpassung. 

Aufgrund eines Vergleichs der Graphenvergleichsfunktionen, die jeweils den besten Anpassungen der Referenz- 
schnitte an den Vergleichschnitt entsprechen, kann der Referenzschnitt ermittelt werden, der die groBte Ahnlichkeit mit 
dem Vergleichsschnitt aufweist. 

Dariiber hinaus kann durch Auswertung der Graphenvergleichsfunktionen aller Referenzschnitte ein MaB der Signifi- 
55 kanz der Ahnlichkeit ermittelt werden, Hierzu lassen sich, entsprechend dem erforderlichen Grad an Ahnlichkeit, ver- 
schiedene Definitionen fiir eine signifikante Erkennung verwenden. 

Beispielsweise konnen aus alien Graphenvergleichsfunktionen fur die nicht optimalen Referenzgraphen der Mittel- 
wert S und die Varianz Og gebildet werden. Eine signifikante Ahnlichkeit konnte dann angenonunen werden, wenn 

— (10) 
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"2^- (11) 

5 

erfiillt ist, wobei s ein fest gewahlter Parameter ist und S2 der zweitkleinste Wert aller Graphenvergleichsfunktionen ist. 

Es konnen mit dem oben beschriebenen Verfahren, beispielsweise fiir eine medizinische Diagnose, auch mehrere Re- 
ferenzschnitt ausgewahlt werden, die in einem vorgegebenen Ahnlichkeitsbereich liegen. 

Bei dieser Ausfiihrungsform wird der Person, die den das Schnittbild beurteilen muB, beispielsweise der Arzt, der eine 
medizinische Diagnose erstellen soil, zusatzliche Information an die Hand gegeben. 10 

Unter Bezugnahme auf die Fig. 5, 6 und 7, wird nun eine weitere Ausfuhrungsform der Erfindung beschrieben. Diese 
Ausfiihrungsform unterscheidet sich von den bisher beschriebenen Ausfiihrungsformen lediglich durch die Auswahl der 
Punkte an denen die Jets berechnet werden, also durch die Gitterstruktur der Referenzschnitte. 

Um Wederholungen zu vermeiden, wird deshalb in bezug auf die Gemeinsantikeiten beider Ausfiihrungsformen auf 
die Beschreibung der bisherigen Ausfiihrungsformen verwiesen; im folgenden wird deshalb lediglich das unterschiedli- 15 
che Gitter diskutiert. 

We in Rg. 5 schematisch angedeutet ist, wird in dieser Ausfiihrungsform zur Ermittlung des Graphen 60 ein unregel- 
mafiiges, objektangepaBtes Gitter 50 verwendet. 

Ein ahnliches, objektangepaBtes Gitter, das dieser Ausfiihrungsform zugrunde liegt, ist in Fig, 6 in vergroBerter Dar- 
stellung gezeigt. Wie aus dieser Hgur ersichtlich, werden bei einem objektangepaBten Fall die Gitterpunkte so gelegt, 20 
daB sie mit charakteristischen Merkmalen des Referenzschnitts zusanmienfallen. 

Beispielsweise werden um den m. Ventrikel 52 drei Knotenpunkte 51a, 51b und 51c des Gitters 50 gelegt, die durch 
drei Links 53a, 53b und 53c miteinander verbunden sind. 

In Fig. 7 ist, analog zu Fig. 4, die Anpassung eines Referenzgraphen mit einem objektangepaBten Gitter an den Ver- 
gleichsgraphen dargestellt. In der linken Abbildung in Fig. 7 ist der Referenzschnitt 20 mit dem objektangepaBten Gitter 25 
50 gezeigt. In der mittieren Abbildung ist das Ergebnis der optimalen Zentrierung und Skalierung 60 des Referenzgitters 
in dem Vergleichschnitt 40 dargestellt. In der rechten Abbildung wurde schlieBlich, ausgehend von der mitderen Abbil- 
dung das zentrierte und skalierte Gitter lokal verzerrt 70. 

In Fig. 8 ist eine weitere Ausfiihrungsform der vorliegenden Erfindung dargestellt. 

Diese Ausfuhrungsform unterscheidet sich von den bisher beschriebenen Ausfiihrungsformen durch den Aufbau der 30 
Referenzgraphen, die mit dem Vergleichsgraphen verglichen werden. 

Wahrend in den bisher beschriebenen Ausfiihrungsformen ein Referenzgraph aus einer einzelnen Schnittabbildung er- 
stellt wird, resultiert gemaB dieser Ausfiihrungsform ein Referenzbundelgraph aus mehreren Schnittabbildungen. 

Herzu werden aus M Schnittabbildungen M Modellgraphen erstellt, die in einem sogenannten Referenzbiindelgraph 
zusammengefafit werden. 35 

Alle M Modellgraphen haben qualitativ dieselbe Struktur, d, h. sie haben jeweils N Knoten, die durch ein vorbestimm- 
tes Gitter miteinander verbunden sind. Hierbei ist es allerdings zulSssig, daB die LSngen zweier einander entsprechender 
Links unterschiedlich sind. Es ist denmach lediglich topologische Identitat der Modellgraphen gefordert. Die Struktur 
des Gitters kann eine regulare oder irregulare Form aufweisen. 

Insbesondere konnen demnach die in den zuvor diskutierten Ausfiihrungsformen eingesetzten Gittei; also ein regula- 40 
res nxm-Gitter oder ein inegulares objektangepaBtes Gitter, verwendet werden. 

Neben den Langen zweier entsprechender links unterscheiden sich auBerdem die einander entsprechenden Jets der M 
Modellgraphen. 

Die M Modellgraphen werden schlieBlich, wie im folgenden erlautert, zu einem Biindelgraphen zusammengefafit. 
Zuerst werden die mitderen Entfemungsvektoren Ay zwischen den Knoten i und j in dem Biindelgraphen ermittelt 45 
durch: 

^-jjZ^ll' (12) 

m . 50 

wobei AJ* der Entfemungsvektor zwischen den Knoten i und j in dem Modellgraphen m ist. 

Diese Entfemungsvektoren bestimmen nun die Struktur des Biindelgraphen, die zum Vergleich schUeBlich im folgen- 
den in den Vergleichschnitt projiziert wird. 

Den Knoten des Biindelgraphen werden auBerdem noch die Jets der M Modellgraphen zugewiesen, Demnach umfafit 55 
ein Jet des Biindelgraphen die M einander entsprechenden Jets der M Modellgraphen. Demnach ist ein Jet des Referenz- 
biindelgraphen aus Subjets, die jeweils den Jets der Modellgraphen entsprechen, aufgebaut. 

Die derart erhaltenen Struktur ist in Fig, 8 schemadsch dargestellt. Mit Gi,. . .,Gm sind hierin die M Modellgraphen be- 
zeichnet, die zu dem Biindelgraphen 80, der aus einem Vercleichsschnitt 75 resultiert, zusammengefaBt sind. 

Zum Vergleich des derart erhaltenen Biindelgraphen G 80 mit einem Vergleichsgraphen G 85 wird gemaB dieser 60 
Ausfiihrungsform eine Biindelgraphenvergleichsfunktion verwendet, die folgende Form aufweist: 

5(G,G") = j^'^maxSiJ:,J„), (13) 



65 



wobei S(Jm, Jn) nach Gleichung (7) oder (8) berechnet wird. 

In Worten ausgedruckt, werden bei dem Vergleich des Biindelgraphen G^ mit einem Vergleichsgraphen G also die Jets 
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mit der maximalen Ahnlichkeit aus dem BUndelgraphen ausgewahlt. 

In Fig, 8 ist diese Iktsache dadurch dargestellt, dafi Pfeile, die von dem entsprechenden Knoten des Vergleichsgraphen 
G ausgehen, an verschiedenen Modellgraphen enden, 

Neben der oben angegebenen Bundelgraphenvergleichsfiinktion lassen sich auch andere geeignete Vergleichsfunktio- 
5 nen einsetzen. 

Wje bei einem Vergleich mit einem einzelnen Referenzgraphen, wird auch im Fall eines Bundelgraphen dieser zuerst 
in die Abbildung des Vergleichsgraphen projiziert, und anschlieBend wird die optimale Projektion durch Auswertung der 
Biindelgraphenvergleichsfunktion bestimmt. 

Da ein Bundelgraph wie ein einzehier Gr^h behandelt werden kann, ist es auch moglich, mehrere Referenzbundel- 
10 graphen, einen Referenzbiindelgraphen und einen cxler mehrere Referenzgraphen in einer Datenbank, mit der Xfergleichs- 
graphen verglichen werden sollen, zusammenzufassen. 

Neben der Moglichkeit die Ergebnisse der erfindungsgemaBen Verfahren, also beispielsweise der Identifizierung einer 
gerade aufgenommenen Struktur, als Hilfsmittel bei einer Diagnose in der Medizin einzusetzen, kann das erfindungsge- 
maBe Verfahren dariiber hinaus zur Steuerung von Vorrichtungen eingesetzt werden, mit denen derartige Schnittbilder 
IS aufgenommen werden. 

Gemafi einer weiteren Ausfiihrungsform der vorliegenden Erfindung kann die Vorrichtung so gesteuert werden, daB 
der im Detail zu untersuchende Bereich automatisch ermittelt wird. 

Bisher war es erforderiich die zu untersuchende Person in bezug auf die Vorrichtung mittels eines Lichtvisiers zu po- 
sitionieren. Im nachsten Schritt wurden anhand von drei orthogonalen Pilotschnitten der zu untersuchende Bereich ein- 
20 gestellt. Nach dieser Einstellung war allerdings inuner noch eine Korrektur des so gefundenen Bereichs erforderiich. 

Durch das vorliegende Verfahren kdnnen die Bereiche, in denen die Untersuchung durchgefiihrt werden soil, durch 
Referenzschnittbilder angegeben werden. Die Steuerung der Vorrichtung kann dabei so ausgebildet werden, daB der zu 
untersuchende Bereich automatisch durch Vergleich der jeweiligen Aufhahme mit den Referenzschnittbildem gefunden 
wird. 

25 Entsprechend einer weiteren Ausfiihrungsform kann das erfindungsgemaBe Verfahren auch zum automatischen Auf- 
zeichnungsabbruch in einer Vorrichtung, mit der Schnittserien, beispielsweise durch den menschiichen Korper, gemacht 
werden, eingesetzt werden. 

Hierzu wird nach jeder Aufnahme der Schnittserie ein Vergleich mit einem Referenzbild, welches das Ende der 
Schnittserie charakterisiert, durchgefuhrL Wenn eine ausreichende Ahnlichkeit des gerade aufgenommenen Schnittbilds 
30 mit diesem Referenzbild festgestellt wird, ist die Schnittserie beendet und der ^for^ichtung wird das Ende der Aufzeich- 
nung mitgeteilt. 

Patentanspruche 

35 1 . Ein Verfahren zum automatisierten Erkennen einer oder mehrerer Strukturen in einem Schnitt durch biologisches 

Material, insbesondere zum Einsatz in der medizinischen Diagnostik, umfassend die Schritte: 
airverfligungstellen von Referenzgraphen, die aus digitalisierten Bilddaten entsprechender Referenzschnittbilder 
resultieren, wobei jeder Referenzgraph umfaBt: 

eine netzartige Struktur, die jeweils dadurch definiert wird, daB bestimmten Bilddaten Knoten, die durch Links in 
40 vorbestimmter Weise miteinander verbunden sind, zugewiesen werden, und 

Jets, wobei jedem Knoten ein Jet zugeordnet ist und wobei der einem bestimmten Knoten zugeordnete Jet durch 
Faltungen einer Klasse von Filterfunktionen mit verschiedenen GroBen und Orienderungen mit den Bilddaten des 
entsprechenden Referenzschnitts an dem bestinunten Knoten ermittelt wird; 

Erstellen des Bildes des Schnitts, der jede zu erkennende Struktur umfaBt, derart daB die Bilddaten in digitalisierter 
45 Form vorliegen; 

Ermittehi eines optimalen Schnittgraphen fur jeden Referenzgraphen, wobei der optimale Schnittgraph fiir einen be- 
stinmaten Referenzgraphen die optimale Anpassung an diesen darstellt und ermittelt wird durch: 
Ptojizieren der netzartigen Struktur des bestimmten Referenzgraphen in das Bild des Schnitts, wodurch die Struktur 
des Schnittgraphen definiert wird, und Ermittehi von Jets des Schnittgraphen an den durch seine Struktur definierten 
50 Knoten durch Faltungen der Klasse von Filterfunktionen mit den GroBen und den Orientierungen, die zur Ermitt- 

lung der Jets des bestimmten Referenzgraphen verwendet worden sind, mit den Bilddaten des Schnitts, wobei 
die Projektion der netzartigen Struktur des bestimmten Referenzgr^hen, so lange variiert wird, bis eine Graphen- 
vergleichsfunktion, welche die Jets des Schnittgraphen mit den entsprechenden Jets des bestimmten Referenzgra- 
phen vergleicht, optimal wird; 

55 Zuordnung jeder Struktur zu dem Referenzschnittbild, welches dem Referenzgraphen entspricht, fur den die Gra- 

phenvergleichsfunktion in Bezug auf den fiir ihn ermittelten optimalen Schnittgraphen optimal ist. 
2. Das Verfahren in Anspruch 1, in welchem weiterhin 

die Referenzgraphen, welche netzartige Sttukturen aufweisen, die topologisch identisch sind und deren einander 
entsprechende Jets durch Faltungen derselben Klasse von Filterfunktionen mit denselben GroBen und Orientierun- 
60 gen mit den Bilddaten des entsprechenden Referenzschnitts ermittelt worden sind, zu einem Referenzbiindelgra- 

phen zusammengefaBt sind, wobei der Referenzbundelgraph umfaBt: 

eine netzartige Struktur, die durch Knoten, welche den Knoten der Referenzgraphen entsprechen, und durch Links, 
die durch Mittelung der entsprechenden Links der Referenzgraphen ermittelt werden, definiert wu-d, und 
Bundeljets, wobei jeder Bundeljet aus Subjets zusammengesetzt wird, die den Jets an den jeweiUgen Knoten der in 
65 dem Referenzbiindelgraphen zusammengefaBten Referenzgraphen entsprechen; 

und 

ein optimaler Schnittgraph fiir jeden Referenzbiindelgraphen ermittelt wird, wobei der optimale Schnittgraph fur ei- 
nen bestimmten Referenzbundelgraphen die optimale Anpassung an diesen darstellt und ermittelt wird durch: 

10 



DE 197 26 226 A 1 

Projizieren der netzartigen Struktur des bestimmten Referenzbundelgraphen in das Bild des Schnitts, wodurch die 
Struktur des Schnittgraphen definiert wird, und Ermitteln von Jets des Schnittgraphen an den durch seine Struktur 
definierten Knoten durch Faltungen der Klasse von Filterfunktionen mit den GroBen und den Orienderungen, die 
zur Ermitdung der Jets der dem bestimmten Referenzbundelgraphen zugrunde liegenden Referenzgraphen verwen- 
det worden sind, mit den Bilddaten des Schnitts, wobei 5 
die Projektion der netzartigen Struktur des bestimmten Referenzbundelgraphen, so lange variiert wird, bis eine Gra- 
phenvergleichsfunktion, welche die Jets des Schnittgraphen mit den entsprechenden Biindeljets des bestimmten Re- 
ferenzbundelgraphen vergleicht, optimal wird, wobei jeder Jet des Schnittgraphen mit den Subjels in dem entspre- 
chenden Biindeljet des bestimmten Referenzbundelgraphen verglichen wird; 

und in welchem schlieBlich jede Struktur dem Referenzschnittbild zugeordnet wird, das dem Referenzgraphen bzw. lo 
dem Referenzgraphen aus dem Referenzbundelgraphen entspricht, fOr den die Graphenveigleichsfunktion in Bezug 
auf den fur ihn ermittelten optimalen Schnittgraphen optimal ist. 

3. Das Verfahren nach Anspruch 2, in welchem alle zur Verfugung gestellten Referenzgraphen zu einem oder zu 
mehreren Referenzbundelgraphen zusammengefaBt sind. 

4. Das Verfahren nach einem der vorangegangenen Anspriiche, in welchem der Schritt des Zurverfugungstellens 15 
der Referenzgraphen bzw. der Referenzbundelgraphen das Erstellen der Referenzgraphen bzw. der Referenzbundel- 
graphen aus den digitalisierten Bilddaten entsprechender Referenzschnittbilder umfaBt. 

5. Das Verfahren nach einem der Anspriiche 1 bis 3, in welchem der Schritt des ZurverfiigungsteUens der Referenz- 
graphen bzw. der Referenzbundelgraphen das Abrufen der Referenzgraphen bzw. der. Referenzbundelgraphen aus 
einer Datenbank umfaBt. 20 

6. Das Verfahren nach einem der vorangegangenen Anspriiche, in welchem das biologische Material menschliches, 
tierisches oder pflanzliches Gewebe oder menschliche, tierische oder pflanzliche Zellen umfaBt. 

7. Das Verfahren nach einem der vorangegangenen Anspriiche, in welchem die Bilder der Referenzschnitte und des 
Schnitts, der jede zu erkennende Struktur umfaBt, mit demselben bildgebenden Verfahren erstellt werden. 

8. Das Verfahren nach einem der Anspriiche 1-6, in welchem die Bilder der Referenzschnitte und des Schnitts, der 25 
jede zu erkennende Struktur umfaBt, mit unterschiedlichen bildgebenden Verfahren erstellt werden. 

9. Das Verfahren nach einem der Anspriiche 7 oder 8, in welchem das bildgebenden Verfahren ein bildgebendes 
Verfahren der Medizin umfaBt. 

10. Das Verfahren nach Anspruch 9, in welchem das bildgebende Verfahren der Medizin NMR- Verfahren, CT- Ver- 
fahren, PET- Verfahren, DSA- Verfahren, Ultraschall- Verfahren, Thermographic- Verfahren oder Szintigraphie-Ver- 30 
fahren umfaBt. 

11. Das Verfahren nach einem der vorangegangenen Anspriiche, in welchem als netzartige Struktur des Referenz- 
graphen ein regelmaBiges Gitter verwendet wird, dessen Knoten und Links rechtwinklige Maschen bilden. 

12. Das Verfahren nach einem der Anspriiche 1-10, in welchem als netzartige Struktur des Referenzgraphen ein 
unregelmaBiges Gitter verwendet wird, dessen Knoten und Links an die zu erkennende Struktur angepaBt sind, 35 

13. Das Verfahren nach Anspruch 12, in welchem die Knoten charakteristischen Punkten, sogenannten Landmar- 
ken, der zu erkennenden Struktur zugeordnet werden. 

14. Das Verfahren nach einem der vorangegangenen Anspriiche, in welchem als Klasse der Filterfunktionen Ga- 
bor-Filterfunktionen vra-wendet werden. 

15. Das Verfahren nach einem der Anspriiche 1-13, in welchem als Klasse der Filterfunktionen Mallat-Filterfunk- 40 
tionen verwendet werden. 

16. Das Verfahren nach einem der vorangegangenen Anspriiche, in welchem die Projektion der netzartigen Struk- 
tur des bestimmten Referenzgraphen bzw. des bestimmten Referenzbiindelgraphen eine Zentrierung des Referenz- 
graphen bzw. des bestimmten Referenzbiindelgraphen in dem Bild des Schnitts umfaBt. 

1 1. Das Verfahren nach Anspruch 1 6, in welchem die Projektion der netzartigen Struktur des bestimmten Referenz- 45 
graphen bzw. des bestimmten Referenzbiindelgraphen eine Verschiebung des zentrierten Referenzgraphen bzw. des 
zentrierten Referenzbiindelgraphen umfaBt. 

18. Das Verfahren nach Anspruch 16 oder 17, in welchem die Projektion der netzartigen Struktur des bestimmten 
Referenzgraphen bzw. des bestimmten Referenzbiindelgraphen eine Skalierung des zentrierten Referenzgraphen 
bzw. des zentrierten Referenzbundelgraphen umfaBt. 50 

19. Das Verfahren nach Anspruch 18 in Verbindung mit Anspruch 17, in welchem die Verschiebung und die Ska- 
lierung des zentrierten Referenzgraphen bzw. des zentrierten Referenzbundelgraphen simultan durchgefiihrt wer- 
den. 

20. Das Verfahren nach einem der Anspriiche 16-19, in welchem die Projektion der netzartigen Struktur lokale 
Verzerrungen des zentrierten Referenzgraphen umfaBt. 55 

21. Das Verfahren nach Anspruch 20, in welchem eine lokale Verzerrung durch lokale Verschiebung eines entspre- 
chenden Knoten des zentrierten Referenzgraphen bewirkt wird. 

22. Das Verfahren nach einem der vorangegangenen Anspriiche, in welchem eine Graphenveigleichsfunktion ver- 
wendet wird, die einen Anteil umfaBt, der die melrische Ahnlichkeit des Schnittgraphen mit dem entsprechenden 
Referenzgraphen bzw. dem entsprechenden Referenzbundelgraphen beriicksichtigt. 60 

23. Das Verfahren nach Anspruch 22, in welchem eine Graphenveigleichsfunktion verwendet wird, durch die eine 
Gewichtung zwischen der Ahnlichkeit der einander entsprechenden Jets bzw. Subjets und der metrischen Ahnlich- 
keit ausgefiihrt wird. 

24. Das Verfahren nach einem der vorangegangenen Anspriiche, in welchem nach dem Erkennen jeder Struktur ein 
Schritt zur ErmitUung der Signifikanz des Erkennung vorgesehen ist. 65 

25. Das Verfahren nach Anspruch 24, in welchem zur Ermittiung der Signifikanz ein Schatzer verwendet wird, der 
sowohl die optimale Graphenveigleichsfunktion als auch die nicht optimalen Graphenvergleichsfunktionen beriick- 
sichtigt. 
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26, Des Verfahren nach Anspruch 24, in welchem der Abstand der Werte der nicht optimalen Vergleichsfunktionen 
von dem Wert der optimalen Vergleichsfunktion als Schalzer verwendet wird. 

27. Das Verfahren nach einem der vorangegangenen Anspriiche, in welchem weiterhin jede Struktur den Referenz- 
schnittbildem zugeordnet werden, die den Referenzgraphen bzw. den Referenzgraphen aus den Referenzbundelgra- 

5 phen entsprechen, fUr die die Werte der Graphenvergleichsfunktionen in einem vorbestimmten Bereich liegen. 
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